Reinforcement learning approach for optimising traffic signal timings at isolated intersections

One of effective ways to prevent congestion and delay on urban areas is signal control at intersections. Signal systems are operated according to state of intersections either isolated or coordinated signal systems. Many researches have been investigated to improve traffic signal systems based on delay minimization or capacity maximization throughput. Due to complexity of the system, new methods are needed to improve efficiency of signalization in aroad network.Signal setting parameters are usually obtained by minimizing total delay on anintersection. The delay is the key parameter which determines the level of service of an intersection. Delay is defined with two parts as an uniform and non-uniform. The uniform partof the delay is determined basically using conventional delay formulas. But the non-uniformpart is not easily determined and cannot be represent due to the nature of the problem and randomness in arrivals.In this study, Reinforcement Learning Signal Optimizer (RLSO) is used to optimize signal timings in isolated intersection because of reflecting the effect of non-uniform part ofdelay. Reinforcement Learning (RL) which is an approach to artificial intelligence that emphasizes learning by the individual from its interaction with its environment. This contrasts with classical approaches to artificial intelligence and machine learning, which have downplayed learning from interaction, focusing instead on learning from a knowledgeable teacher, or on reasoning from a complete model of the environment. RL is learning what todo-how to map situations to actions-so as to maximize a scalar reward signal. The learner isnot told which action to take, as in most forms of machine learning, but instead must discoverwhich actions yield the most reward by trying them.The aim of this paper is to minimize delay on intersections controlled by isolated signal system and to obtain operational parameters such as cycle time, green split rate. For thispurpose, the RLSO is applied to an example intersection which has four approaches and threestages. The results of RLSO were compared with field observations. The results showed thatthe RLSO is able to optimize traffic signal timings on an intersection. The proposed model also holds promise for successful application to optimize traffic signal timings at isolated intersections according to delay minimization

HEURISTIC METHODS FOR SOLVING STOCHASTIC USER EQUILIBRIUM TRAFFIC ASSIGNMENT PROBLEM

Bu çalışmada Stokastik Kullanıcı Dengesi (SKD) trafik atama probleminin çözümü için sezgisel metot tabanlı yeni bir çözüm algoritması önerilmiştir. Karınca Kolonisi Optimizasyonu (KKO) ve Armoni Araştırması Tekniği (AAT) kullanılarak oluşturulan KArınca KOlonisi Stokastik Trafik Atama (KAKOSTA) ve ARmoni Araştırması Stokastik Trafik Atama (ARASTA) modelleri SKD trafik atama probleminin çözümünde kullanılmıştır. Geliştirilen modellerde, sürücülerin güzergah seçim davranışları probit güzergah seçim modeli kullanılarak temsil edilmekte ve SKD problemi, eşdeğer optimizasyon problemi olarak tanımlanmaktadır. Önerilen modellerin test edilmesi için 1 adet Başlangıç-Varış (B-V) çifti, 5 adet bağ ve 3 adet güzergahtan oluşan ulaşım ağı verilmiştir. Probit güzergah seçim olasılıklarının bulunabilmesi için Monte-Carlo simülasyon tekniğinden faydalanılmıştır. Ayrıca SKD atamasının sonuçları Deterministik Kullanıcı Dengesi (DKD) ataması sonuçları ile karşılaştırılmıştır. Sayısal uygulama sonucunda, SKD probleminin çözümünde ARASTA modeli hesaplama süresi açısından KAKOSTA modeline göre avantajlı olmasına rağmen KAKOSTA modelinin amaç fonksiyonunun en küçüklenmesinde daha başarılı olduğu görülmüştür. Ayrıca probit tabanlı SKD ataması ile elde edilen sonuçların gerçek sürücü davranışlarının modellenmesinde DKD atamasına göre daha gerçekçi olduğu ve probit tabanlı SKD probleminin sezgisel metotlar kullanılarak çözülebildiği görülmektedir. In this study, a new solution algorithm based on heuristic methods is proposed in order to solve Stochastic User Equilibrium (SUE) traffic assignment problem. Ant Colony Optimization Stochastic Traffic Assignment (ACOSTA) and Harmony search Stochastic Traffic Assignment (HASTA) models which are formed using Ant Colony Optimization and Harmony Search, are used to solve the stochastic traffic assignment problem. In the proposed models, probit route choice model is used to represent driver's behaviour. SUE assignment is also described as equivalent optimization problem. In order to illustrate applications of the proposed models, test network is used which has one Origin-Destination (O-D) pair, five links and three paths. Monte-Carlo simulation method is used to find probit route choice probabilities. Furthermore, the results of SUE assignment are compared with the Deterministic User Equilibrium (DUE). Numerical example showed that ACOSTA model has more advantages when it is compared with the HASTA model especially in terms of the value of objective function although it requires more CPU time according to HASTA model. Moreover, SUE assignment based probit route choice is more realistic in accordance with DUE assignment and it can be solved using heuristic methods

PREDICTION OF PUBLIC BUS TRANSPORT DEMAND AND BUS FARE ANALYSES IN URBAN AREAS: AS A DENIZLI CASE STUDY

Kentiçi ulaşım sistemlerindeki türel ayrım oranlarının ve özel araçlara olan talebin hızla değişmesinden dolayı gelişmiş ve gelişmekte olan ülkelerdeki orta ve büyük ölçekli şehirlerde trafik sıkışıklığı ve tıkanıklarını hızla artmaktadır. Ayrıca, konfor ve erişebilirlik beklentilerinin de yükselmesi, özel araç kullanımını artırmakta ve toplu taşım kullanım oranının azalmasına neden olmaktadır. Toplu taşım sistemleri, arzu edilen servis kalitesini sağlayabilmek için arz ve talep arasındaki dengeyi sağlamalıdır. Bu nedenle, bir toplu taşım sistemi tasarlanırken diğer tüm sistemlere olan talep belirlenmeli ve bu talepler tasarımda hesaba katılmalıdır. Ayrıca, hızlı nüfus artışı ve köyden kente göçün artması nedeniyle artan toplu taşım talebinin yönetilmesi gerekliliği açıktır. Bu sebeple değinilen konuların önemi doğrultusunda, toplu taşım talebinin belirlenmesi, tahmin edilmesi ve geleceğe yönelik olarak toplu taşım yönetim şekillerinin oluşturulması bu çalışmanın önemini açıkça ortaya koymaktadır. Çalışma kapsamında, Denizli kentinde kentiçi otobüsle toplu taşıma sisteminin değerlendirilmesi yapılmış ve geleceğe yönelik talep tahmini ile birlikte işletme maliyetlerini de dikkate alarak bilet fiyat analizleri yapılmıştır. Yapılan analizlerde otobüsle toplu taşım talebi, talebe dayalı yıllık ortalama artış oranı, Kraft Talep Modeli, sabit mobilite faktörü kullanılmıştır. Tahminlere bağlı olarak geliştirilen farklı senaryolar altında arz-talep analizi yapılmıştır. Sonuçlar, Kraft Talep modelinin kentiçi otobüs taşımacılığına olan talebin belirlenerek bilet ücretlerinin bugün ve gelecekte kolaylıkla planlanabileceğini göstermiştir. Traffic congestions have increased in large and medium size cities in developed and developing countries because of changes in mode choices and increase on demand for private vehicles. In addition, increase on expectations for comfort and access has led to frequent use of private vehicles and caused decrease on the use of urban mass transportation. Mass transportation systems should ensure equilibrium of demand and supply to provide desired level of service. Therefore, while mass transportation systems are being planned, demand for other systems should be determined and taken into consideration in planning. Furthermore, public transport demand should be managed because of rapid population growth and migration. The purpose of this study is to determine the current use of mass transportation and estimate the future demand for mass transportation accordingly and compose mass transportation management patterns for future. In this study, urban public bus transport system in Denizli has been evaluated and the bus fare analyses are carried out taking into account future demand with the operating costs. The demand analyses including the Kraft Demand Model, fixed mobility factor and average annual growth rate are performed. Under different scenarios supply demand analyses were conducted. Results showed that bus fare in current and future cases can be easily determined. It also showed that Kraft Demand Model may be used for demand and bus fare analyses

Genetic algorithm approach to analyze sustainable transportation indicators for Turkey

1979 yılında 1. Dünya İklim Konferansı 'nın yapılmasıyla başlayan çevresel çlenme süreci 1980'lerde sürdürülebilir gelişme kavramıyla devam etmiş ve imüze gelinmiştir. Bugün birçok uluslararası antlaşma ile sektörel bazda ve genel politikalarında bağlayıcı kararlar alınarak, gezegenimizin geleceğinin korunması ve ;ek nesillere yaşanabilir bir Dünya bırakılması çabalanmaktadır. Ulaşım sektörü de yıllarda otomobil bağımlı toplumların gelişmesi sonucu dışsal etkileri tehlike ıtlarına ulaşan bir sektör olarak karşımıza çıkmaktadır. Bu nedenle sürdürülebilir me ilkeleri doğrultusunda ulaşım planlamaları yeniden gözden geçirilmekte ve landırılmaktadır. Gelişmiş ülkelerde bu sorunlar daha büyük boyutlara ulaşmış, anlıklardan vazgeçilmesi zorlaşmıştır. Bu nedenle gelişmekte olan ülkeler indan yapılacak planlamalar gelişmiş ülkeler içinde bir örnek oluşturacaktır. u çalışmada Türkiye'de 2025 yılına kadar şehirlerarası yolcu, yük ve taşıt cetleri genetik algoritma yöntemi ile belirlenmiş ve %95 oranla karayolu ağına lı ulaşım sistemimizin bu dönemde kazalar, enerji tüketimi ve hava kirliliğinden değerlendirilmesi ve planlaması yapılmıştır. Beklenen gelişmeler tek türe lı bir ulaşım sisteminin incelenen parametreler açısından önümüzdeki yıllarda ıların içinden çıkılamaz bir hal alacağı yönündedir. Bu nedenle alternatif türlerin tirilmesi ve talebin bu yöne kaydırılması gerekmektedir. Alternatif olarak, beklenen ler senaryolar doğrultusunda demiryoluna kaydırılmış ve incelenen netrelerdeki değişimler ortaya konmuştur. Sürdürülebilir bir ulaşım sistemi için fıatler artarken dışsal etkilerin kabul edilebilir seviyede tutulması gereklidir, îfiere ulaşmak için vergi ve sigorta sistemi incelenmiş ve birim hareketler için en rakamlar belirlenmiştir. Ayrıca demiryollarında oluşacak talebin lanabilmesi için demiryolu sisteminde yapılması gerekenler özetlenmiştir. VI Sonuç olarak ulaşım talebi modellerinde genetik algoritma yaklaşımının klasik yöntemlere göre daha başarılı olduğu ve bu yöntemle hesaplanan, beklenen şehirlerarası yolculuk taleplerinin önümüzdeki yıllarda mevcut sistemle karşılanmaya çalışılmasının gerek yatırımlar gerekse de ulaşımın dışsal etkileri açısından olanaklı görülmediği belirlenmiştir. Bu amaçla tek türe dayalı sistemin bir an önce alternatifinin planlanması ve iyileştirilmesi gerekliliği vardır. Demiryolları alternatif olarak en uygun sistemdir. Önümüzdeki yıllarda talebin kademeli olarak demiryollarına kaydırılması, kazalarda, enerji tüketiminde ve hava kirliliğinde iyileşmeler sağlayacaktır. Bu planlamanın gerçekleştirilebilmesi için ücretlendirme politikalarında değişikliklerin yapılması talepte bir esneklik yaratacaktır. Ancak istenilen düzeyde talebin diğer türlere sadece ücret politikaları ile kaydırılması çok zordur. Bu nedenle yapılacak çalışmalarla talebin yönlendirilmesi ve hedeflere ulaşılması gelecek için önemlidir.The environmental awareness has started to increase among the scientists after the First World Climate Conference held in 1979. The environmental awareness has even become higher by introducing the concept of sustainable development in 1980s. Today, many attempts have been made to clean our environment and to control green house effect in the world in the view of national and the sectoral policies. These attempts also have been made at international levels to sign up the treaties among countries like Kyoto protocol signed in 1990. These attempts aim at saving our environment for future generations. As the pace of life in the 21st Century continues to increase dramatically, mobility is now one of the defining characteristics of most societies. This has lead to more and more cars and, unfortunately, more and more pollution. Some way of providing sustainable transport has to be found. Alternative energy supplies such as wind and solar will undoubtedly play a major part in providing the power for any such solution. In this study, in the light of sustainable development context, transport demand modeling based on the economic indicators is developed for various forms of the mobility using the notion of Genetic Algorithm (GA). Transport demand modeling is not possible without a reasonable knowledge of past and present mobility indicators such as veh-km, mass movement and energy usage by sector, etc. Transport planning is not possible either good estimation of future development caused by transport. Therefore, various forms of the GA based-transport demand models are developed. The best fit GA models are selected for the estimation of the future mobility indicators. The sustainable transport indicators are each decomposed in various forms and evaluated by appropriately fitting the GA models for future estimation. Future estimations are also made for each of the sustainable transport indicators under the various scenarios. The future planning of the transport demand is evaluated by shifting the some part of the demand to railways. Some approaches to control demand have been proposed such as distance-based insurance system. Results show that the GA approache is better then the VIII conventional regression techniques in terms of estimating the future sustainable transport indicators. The application of the GA models will help to develop various transport policies by appropriately evaluating transport indicators and benefits for each scenario. The GA models can also help to evaluate the efficiency and effectiveness of Transport Demand Management (TDM) projects. Oncoming years, part of the road transport demand should be transiently moved to railways

Fuel price determination in transportation sector using predicted energy and transport demand

This study determines fuel price based on estimated sectoral energy and transport demand using pumping prices. Three approaches are first used for estimating energy and transportation demand based on linear time series, polynomial time series and genetic algorithm based (GATEDE and GATDETR), as multi-parameter, models. Then, future fuel prices and marginal costs of the energy consumption are obtained. Transport demand-based energy efficiency methods are also developed. The fuel prices (FP) are analyzed under two scenarios: Linear and exponential price scenarios. Results showed that if the FP increases linearly, the marginal cost will slightly decreases from current trend, but will increases if demand increases exponentially. Results also showed that the demand-based pricing policy would help to develop a new pricing policy for fuel use in order to control fast growing demand on this sector. The exponential price increase would also help to locate financial sources to create environmentally friendly transportation systems. © 2005 Elsevier Ltd. All rights reserved

Genetic algorithm approach to estimate transport energy demand in Turkey

Transport energy modeling is a subject of current interest among transport engineers and scientists concerned with problems of sustainable transport. Transport energy planning is not possible without a reasonable knowledge of past and present energy consumption and likely future demands. In this study, three forms of the energy demand equations are developed in order to improve transport energy demand estimation efficiency for future projections based on genetic algorithm (GA) notion. The Genetic Algorithm Transport Energy Demand Estimation (GATEDE) model is developed using population, gross domestic product and vehicle-km. All equations proposed here are linear and non-linear, of which one is linear, second is exponential and third is quadratic. The quadratic form of the GATEDE model provided better-fit solution to the observed data and can be used with a high correlation coefficient for Turkey's future transport energy projections. It is expected that this study will be helpful in developing highly applicable and productive planning for transport energy policies. The GATEDE gives transport energy demand in comparison with the other transport energy demand projections. The GATEDE model plans the sectoral energy demand of Turkey until 2020. © 2003 Elsevier Ltd. All rights reserved